Attending to Multimodal Generation One Token at a Time
逐令牌追踪多模态生成中的注意力动态
🧭 多模态LLM注意力机制的可解释性分析
CVIT, IIIT Hyderabad
系统揭示多模态LLM生成过程中注意力随语义角色切换的逐令牌动态，并提出测试时干预提升多模态任务性能
📌 工作参考价值（4 点）
- 在多模态推荐（如图文推荐理由生成）中，可借鉴注意力动态模式，在需要图像信息的生成阶段显式增强视觉注意力，提升描述准确性。
- 测试时注意力干预方法简单有效，无需重新训练，可集成到现有多模态LLM推理流程中，用于电商详情页的多模态内容生成或广告文案优化。
- 分析发现的跨模态泄漏和语言先验问题，提示在多模态Agent设计时需平衡视觉与文本信息，避免忽略图像或过度依赖语言模板。
- 对于查询生成（如基于图片的搜索词生成），可参考指令令牌重访模式，在任务切换时重新引入指令线索，确保生成相关性。